AgenticDataBench: A Comprehensive Benchmark for Data Agents
AgenticDataBench：面向数据代理的多领域细粒度综合基准
🧭 数据代理评估基准
Tsinghua University · Ant Digital Technologies, Ant Group
覆盖15个垂直领域，基于细粒度技能定义实现数据代理的全面评估与任务生成
📌 工作参考价值（4 点）
- 借鉴技能分解思路，将推荐系统开发流程（如特征工程、模型选择、A/B测试）拆解为可复用的原子技能，用于设计模块化推荐Agent。
- 利用社区数据（如内部实验日志、技术文档）提取高频操作模式，构建面向推荐问题的诊断或调优数据集。
- 按技能覆盖度最大化来筛选任务集合，确保离线评估时覆盖更多真实场景，避免评估偏差。
- LLM合成任务的方法可迁移至推荐场景，用于生成低资源领域的训练数据或用户模拟查询。